When Is a Task Vector Enough? An Empirical Theory of Implicit Multimodal ICL
任务向量何时足够？隐式多模态上下文学习的实证理论
🧭 多模态 ICL 任务向量选择机制
Brown University
提出 Selection-Realization 假设，揭示静态任务向量在跨查询共享变化为主时足够，否则需更复杂干预
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 做少样本任务（如属性抽取、意图分类）时，先对比正确演示与反事实的激活结构：若演示诱导的变化跨查询高度共享，用静态 task vector 压缩演示可大幅降低多模态 token 重复编码成本，适合高并发在线推理。
- 借鉴 Selection-Realization 假设做成本感知的方法选择：离线分析显式 ICL 的隐藏状态变化，判断任务是否可被局部加性偏移近似，无需上线测试即可决定用静态向量还是升级到 query-conditioned 或 attention routing。
- 对多模态商品理解任务，静态 task vector 可能只覆盖通用映射，遇到细粒度查询（如颜色/材质条件）时性能下降；可考虑按 query 子集聚类维护多个 task vector，或增加轻量 query 调制模块来捕获查询特定结构。
- 工程实现上，若任务相对稳定且演示较长，优先尝试将演示压缩为单次前向的激活偏移作为缓存，避免每次推理重复编码多模态演示，减少延迟和 KV cache 占用。